Forecasting Downstream Performance of LLMs With Proxy Metrics
基于代理指标的LLM下游性能预测
🧭 代理指标 · 专家轨迹 · 性能预测
Mila – Quebec AI Institute · McGill University · ServiceNow Research
聚合专家解答上的token级熵、top-k准确率、专家token排名作为代理指标，预测LLM下游性能，显著优于损失和计算基线
📌 工作参考价值（4 点）
- 在模型选型或数据筛选阶段，用少量专家标注数据（如人工标注或用户行为序列）计算token级指标，代替昂贵的下游评估，节省千倍计算。
- 训练早期监控代理指标趋势（如熵、top-k准确率），可提前预测最终下游表现，及时终止劣化实验，加速迭代。
- 对多智体系统，可将高质量agent轨迹视为专家解答，聚合token级统计量评估agent决策质量，用于在线筛选prompt或模型。
- 生成式推荐中，将用户交互序列作为专家轨迹，构造类似代理指标，可用于选型、数据筛选或训练过程中的表现预测。